package sparkCoreNew

import org.apache.spark.{SparkConf, SparkContext}

object FileRDD {
  def main(args: Array[String]): Unit = {
    //读取数据文件，构建rdd

    //1 构建spark的配置项
    val conf=new SparkConf().setMaster("local[*]").setAppName("hello scala")
    //2 构建sparkcontext sc
    val sc=new SparkContext(conf)

    sc.setLogLevel("error")

    //读取数据文件
    val fileRDD=sc.textFile("D:\\15code\\data\\data(5).txt")
    val obj1=fileRDD.flatMap(x=>x.split(" "))
    val mapRdd=obj1.map(x=>(x,1))
    val rRDD=mapRdd.reduceByKey((x,y)=>x+y)
    rRDD.foreach(x=>println(x))
    //保存文件
    //rRDD.saveAsTextFile("D:\\code\\dataResult\\")
  }

}
